查看原文
其他

“王炸!”

特大妹 中国电信 2024-03-30

2023年科技圈“顶流”都有啥

大模型毫无疑问位居其中

而小翼只需要“略微”出手

就成了大模型的高级玩家


怎么肥事?听我慢慢讲就在11月10日-13日中国电信联合广东省政府整了个大活举办「2023数字科技生态大会现场直接把大伙儿的CPU“干烧了”


大会一开场中国电信不扯闲话:强势发布千亿级参数通用大模型星辰语义大模型随后又补了一句预计明年4月开源所有底层代码并开放超过1TB的高质量清洗数据嚯,场子瞬间热了
大家还没回过神,中国电信又嗖嗖嗖甩出了12个行业大模型
这还不算完,紧接着引人深思的观点又双叒来啦如何让大模型快速落地到千行百业?
如何又快、又高质量地搞出商业化可交付的大模型应用?如何让大模型成为推动产业升级的重要力量?

气氛已经烘到这份上了

此时,中国电信天翼云掏出了另一个“王炸”慧聚,一站式智算服务平台也就是大模型生产应用的流水线


为何这是一个“王炸”?

懂行人都清楚:基础大模型,只是底座

要真正落地,必须在特定的

行业大模型和场景大模型上下功夫

但一般的有行业和场景需求的传统开发团队

很难玩动大模型开发

面向国内政企行业场景的,更是空白

讲真,一般人难以在大模型面前放肆

因为这中间的Gap(缺口)实在太大了

但慧聚平台横空出世,大家猛地发现

咦?!我竟然能够得着了

慧聚平台,到底是啥?有这等能耐?

“慧聚”提供了一站式流水线工具和技术

开箱即用,降低开发门槛

看底层架构

四大平台丨六大功能模块丨两大核心技术

在行业大模型应用开发中核心任务是需要训练出一个专属模型或专有模型这个开发阶段,也叫模型训练阶段

在行业和场景大模型开发中,核心问题是

让没有大模型开发经验和能力的开发团队快速上手

把能满足他们业务需求的大模型开发出来

慧聚的“模型开发平台”就是这样一个产品

有的开发团队,想要更省事

慧聚还有一个宝,叫“模型服务平台”

有点像大模型MarketPlace(市场)

里面的模型可太丰富多彩了

“慧聚”把各种模型做成了服务

通过API/SDK的方式调用

直接调用大模型

你还可以对大模型进行微调或个性化

比如,通过构建了Prompt工程,采用全参微调、LoRA、RLHF多种快速微调的方法和方案,再加载一些自家的知识库或数据,就能调整出自己想要的结果。

其实就是一个模型推理过程

慧聚模型服务平台的推理速度极快

很多人怕“推理过程”不可控

但是通过慧聚模型服务平台能做到

全程可观测,心中一本账

服务发布、弹性扩容、服务监测

模型开发平台+模型服务平台

解决了90%以上核心开发问题

同时

“慧聚”通过底层天翼云两大核心技术

算力加速丨算力调度

缩短模型训练时间,保证训练稳定性

算力加速:对AI框架针对性优化,使得模型训练推理效率更高;在训练任务分发、训练断点续训等镜像拉取的时候进行镜像加速;在数据传输层通过预加载、异步存储等技术加快数据集存取,实现数据加速。算力调度:构建合理灵活的任务的分配和调度策略,保障训练任务能够准确到达每个所分配GPU,提升GPU利用率;感知底层GPU和IB、NVlink等网络,实时获取GPU和网络的状态;底层硬件故障之后实现快速重调度,断点续训。

而在交付方式上

慧聚平台给开发者提供了极大灵活性
第一,公有云方式,通过天翼云交付公网访问、开箱即用、按需收费第二,私有云、专有云部署中国电信可提供一体机最小单机柜交付,最快2小时完成部署

不仅如此考虑到XC(信创)等需求还提供完善的国产化适配

在具体开发过程中

AI算力也是必考虑的因素之一

算力的速度、质量和价钱

决定了模型开发时间和成本

这次,中国电信也秀出了“钞能力”

中国电信采用新一代AIDC智算液冷DC舱

(AIDC指智算数据中心)

打造出业界先进的智算中心

极致算力算效,PUE低至 1.12

(PUE是数据中心消耗的所有能源

与IT负载消耗能源的比值)

为大模型业务提供
绿色、智能、弹性的算力底座

在超强的硬件底子之上

中国电信再秀肌肉

端网协同,榨出每一滴算力价值

建智算机房,调智算网络

这还不算完

最后再狠狠地升级了一下算力平台

这就是天翼云「云骁」

高性能云智超一体化基础设施平台



云骁就像一匹拉动整个

IaaS(基础设施即服务)层的天马

一手算力整合和加速,一手算力运营

让算力插上翅膀,快到飞起

“云骁”平台通过一系列的算力整合、算力运营管理技术和智算加速套件,大幅提升了数据加载,异构算力的管理与调度性能,并提供了全流程可观测运营能力。


最后,我们要讲的是

除了技术层面这些超能力以外

对于广大开发者而言,开发政企类项目

采用中国电信天翼云的「慧聚平台」

无形中拥有了“国云大模型生态”

丰富的生态,意味着更多选择可以灵活地满足客户多样性需求「慧聚」的芯片生态GPU、NPU、DPU任选,国产、通用任选「慧聚」的模型生态汇聚国内外各类通用大模型及行业大模型开源闭源,任意选择

「慧聚」的开发者生态
聚集了政企领域顶尖的开发者、ISV(独立软件开发商)数据共享、模型共享、案例共享...共同推动大模型应用的行业落地

大模型时代,一切可能都要重塑

通过大模型应用开发项目

重塑个人知识模型和公司业务模型

重塑数字世界,落地千行百业

慧聚,打造新起点

“星标”我们,让遇见更为简单




漫画授权转载自特大号

作者:天翼云 特大号

编辑:庄文超、陈博博、张广

执行主编:廖鸿翔、张朋

主编:刘晖平好友都在看

【点击图片阅读】这也太“慧”了吧!

【点击图片阅读】这儿,凭啥频频亮相央视?


点点在看,让更多人看到↓↓↓
继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存